在前一篇的內容Web3 X 去中心化科學DeSci-Gensyn及去中心機器學習協議評估原則GHOSTLY我們從Gensyn這個項目開始來看,並且看一下去中心化機器學習的研製機制和相關評估原則GHOSTLY,這邊我們持續往下看兩個項目,分別是Together AI和CUDOS。
目前看起來還沒有把跟區塊鏈相關的服務推出,主要是提供句有性價比和開源大型語言模型的工具為主,其重點在於開源機器學習和相關的生態系建立。當下應該是以LLM為主,看其Twitter帳號圖片的草泥馬便可以知道一二。
雖然這項目看起來是脫離單純區塊鏈,漸漸往單純開源的機器學習方向走,他們已經分享許多不錯的模型:
RedPajama
RedPajama是Together AI的開源基礎模型和數據集。這包括Apache 2.0許可的基礎、聊天和指令調整模型,以及有史以來最大的開放預訓練數據集,已用於訓練超過100個模型。我們提供數據配方、訓練代碼和指令數據集以實現完全透明。
OpenChatKit
OpenChatKit提供了一個強大的開源基礎,用於創建適用於各種應用的專用和通用聊天機器人。該項目包括一個指令調整的LLM、用於微調的定制配方、一個可擴展的檢索系統,以及一個審核模型。
GPT-JT
GPT-JT (6B)是一個整合了多種開放技術和數據集的模型。該模型通過去中心化Together Cloud進行訓練,對35.3億個令牌進行了微調,並在分類任務上超越了大多數100B+參數的模型。
相對於Together Compute,CUDOS網站的設計基本上就是一個以運算網絡為主題的項目,且以Layer 1為主,其目標提供10倍以上性價比的運算服務,將自己定位為提供可持續基礎設施的公司,專注於傳統雲市場和web3的計算資源。為了最大化市場覆蓋範圍並保持在技術的前沿,最初在以太坊上發行了一個ERC-20代幣,後來遷移到了Cosmos生態系統中的我們自己的區塊鏈。這一舉動能夠大幅降低建立的應用程序相關的網絡費用。
CUDOS目前主要用四個主要設計:
CUDOS是一個採用委托權益證明(Delegated Proof-of-Stake, DPoS)的區塊鏈,目前是以COSMOS來調整的,其是將共識與執行分開,以確保在大規模下安全、去中心化且無需許可地訪問高性能計算。
CUDOS的權益證明共識是使用Tendermint Core引擎來管理共識 - 由拜占庭容錯(BFT)共識模型驅動。BFT模型可以容忍少於三分之一的拜占庭驗證者達成共識。它被認為是權益證明共識的黃金標準,是整個行業中最廣泛使用的共識引擎。與比特幣等工作量證明區塊鏈相比,PoS算法將Cosmos的碳足跡降低了99%以上。
我們的基因體時代是我經營的部落格,如有對於合成生物學、生物資訊、檢驗醫學、資料視覺化、R語言有興趣的話,可以來交流交流!也可以追蹤我的工作IG,但就是偏向醫療為主,假如對去中心化科學有興趣,則可以進入到g0v的da0頻道中多多交流。